[アップデート] Amazon BedrockでIntelligent Prompt Routingが発表されました(プレビュー) #AWSreInvent

[アップデート] Amazon BedrockでIntelligent Prompt Routingが発表されました(プレビュー) #AWSreInvent

同じモデルファミリーの基盤モデル内で、プロンプトの複雑さに応じて品質およびコストが最適なモデルにリクエストを振り分けることができるようになりました。
Clock Icon2024.12.05

データ事業本部 インテグレーション部 機械学習チームの鈴木です。

re:Invent2024のキーノートのうち、Dr. Swami Sivasubramanian Keynoteで、Intelligent Prompt Routingのプレビュー提供が発表されました!

Intelligent Prompt Routingのプレビュー提供

以下のAWSブログでも紹介されています。

https://aws.amazon.com/jp/blogs/aws/reduce-costs-and-latency-with-amazon-bedrock-intelligent-prompt-routing-and-prompt-caching-preview/

Intelligent Prompt Routingについて

Amazon BedrockでIntelligent Prompt Routingを使うと、同じモデルファミリーの基盤モデルを組み合わせて使用して、プロンプトの複雑さに応じてより適切な基盤モデルにルーティングし、品質とコストを最適化できるようになりました。

例えば、AnthropicのClaudeモデルファミリーの場合、Claude 3.5 SonnetとClaude 3 Haikuの間でリクエストをルーティングさせる、というようなことができるようです。

ルーティングのイメージ

Intelligent Prompt Routingは、米国東部(バージニア北部)および米国西部(オレゴン)リージョンでプレビュー利用できます。

オレゴンリージョンでBedrockのコンソールを確認すると、Foundation modelsセクションにPrompt Routersが追加されていました。

Prompt Routers

終わりに

re:Invent2024のキーノートのうち、Dr. Swami Sivasubramanian Keynoteで、Intelligent Prompt Routingのプレビュー提供が発表されたためご紹介しました。

基盤モデルとしてどれを使用するかについて、特にサービス開発する際には頭を悩ませている方は多いのではないかと思います。個人でモデルを使う程度であればどのモデルを使っても価格面で大きな差はないかもしれませんが、多くのユーザーが利用するとなった場合にはモデルの選定によって課金額が変わってきます。ただ、モデルの規模を小さいものを選定すると満足いく回答が生成できない場合があります。こういった場合にIntelligent Prompt Routingの機能を使えば、比較すると高めの料金の代わりにリッチな回答を生成できるモデルと、安価で高速に必要十分な回答を生成できるモデルの自動的な使い分けが期待できます。

さっそくブレビュー版を利用できるので、こういった課題をお持ちの方はぜひ試してみてはいかがでしょうか。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.